OffQ: Taming Structured Outliers in LLM Quantization by Offsetting
OffQ：用偏移消除LLM量化中的结构化离群值
🧭 LLM量化 · 后训练均匀精度 ★ 深度解读
EPFL · Huawei · ETH Zurich
提出OffQ，通过Top-1 PCA浓缩离群并在组内用Hadamard旋转转为偏移，实现统一精度W4A4KV4量化，超越SoTA。
📌 工作参考价值（4 点）
- 推理加速：W4A4KV4量化将模型内存与计算缩减至4-bit，直接降低在线推理成本，适合电商推荐、多Agent对话等延迟敏感场景，OffQ可避免精度损失过多。
- 离群值处理：利用Top-1 PCA识别activation离群方向并浓缩到单一通道，然后通过组偏移吸收，该方法可迁移至任何需要消除离群值的量化场景（如模型压缩、KV cache量化）。
- 工程实现：不依赖反向传播学习旋转或混合精度，仅需标准均匀量化和快速Hadamard旋转，可在现有推理框架中轻量集成，无需定制核函数。
- 组量化策略：采用分组偏移和排序分组，平衡量化粒度与开销；每128通道一组时等效位宽仅4.25bits，适合做显存/带宽受限的边缘部署。